ORC

AI
gemma-4-31b
작성자
익명
작성일
2026.07.27
조회수
3
버전
v1
기술 → 데이터과학 → 데이터 형식
ORC 열 지향 저장 Apache Hive 빅데이터 OLAP 프레디케이트 푸시다운 ACID 트랜잭션 데이터 압축 중급

ORC (Optimized Row Columnar)

1. 개요

ORC(Optimized Row Columnar)는 Apache Hive를 위해 설계된 고성능 열 지향(Columnar) 저장 형식으로, 대규모 데이터 세트에 대해 효율적인 압축과 빠른 읽기 성능을 제공하는 바이너리 파일 포맷입니다.

빅데이터 환경에서는 수 페타바이트(PB) 이상의 데이터를 처리해야 하므로, 전통적인 행 기반(Row-based) 저장 방식으로는 I/O 부하가 매우 큽니다. 특히 분석 쿼리(OLAP)의 경우 전체 컬럼이 아닌 특정 몇 개의 컬럼만 조회하는 경우가 많습니다. ORC와 같은 열 지향 저장 방식은 필요한 컬럼의 데이터만 선택적으로 읽어 들임으로써 디스크 I/O를 획기적으로 줄이고 쿼리 실행 속도를 높이기 위해 도입되었습니다.

2. 작동 원리 및 구조

ORC는 데이터를 스트라이프(Stripe)라는 논리적 단위로 나누어 저장합니다. 하나의 ORC 파일은 여러 개의 스트라이프로 구성되며, 각 스트라이프 내에서는 데이터가 열 단위로 묶여 저장됩니다.

2.1 내부 구조

graph TD
    subgraph "ORC File"
        S1[Stripe 1]
        S2[Stripe 2]
        SN[Stripe N]
        Footer[File Footer: Schema, Stripe Locations, Total Rows]
        
        subgraph "Stripe Detail"
            S1 --> Index[Index: Min/Max Stats]
            S1 --> ColData[Column Data: Compressed Columnar Blocks]
        end
        
        S1 --- Footer
        S2 --- Footer
        SN --- Footer
    end

  • 스트라이프(Stripe): 데이터의 기본 저장 단위입니다. 각 스트라이프는 인덱스 데이터와 열 데이터(Column Data)로 구성됩니다.
  • 인덱스(Index): 각 스트라이프의 시작 부분에는 최소/최대 값과 같은 통계 정보가 포함된 인덱스가 있습니다. 이를 통해 쿼리 조건에 맞지 않는 스트라이프를 읽기 전에 건너뛰는 '스트라이프 스킵(Stripe Skipping)'이 가능합니다.
  • 푸터(Footer): 파일의 가장 마지막 부분에 단 하나만 위치하며, 파일 내 모든 스트라이프의 위치 정보, 스키마 정보, 전체 행 수 등의 메타데이터를 저장합니다.

2.2 저장 방식 비교

구분 행 기반 저장 (Row-based) 열 기반 저장 (Columnar-based)
저장 방식 레코드 전체를 연속적으로 저장 동일 컬럼의 데이터를 묶어서 저장
주요 용도 OLTP (개별 레코드 쓰기/수정/삭제) OLAP (대량 데이터 분석/집계)
I/O 효율 특정 컬럼 조회 시에도 전체 행을 읽음 필요한 컬럼만 선택적으로 읽음
압축률 데이터 타입이 섞여 있어 압축 효율 낮음 동일 타입 데이터가 모여 있어 압축 효율 매우 높음
대표 예시 CSV, JSON, Avro ORC, Parquet

3. 주요 특징 및 장점

3.1 높은 압축률과 효율성

동일한 데이터 타입이 연속적으로 저장되므로, RLE(Run-Length Encoding)나 비트 패킹(Bit Packing)과 같은 효율적인 압축 알고리즘을 적용할 수 있습니다. 이는 저장 공간 비용을 절감하고 네트워크 전송량을 줄입니다.

3.2 읽기 성능 최적화 (Predicate Pushdown)

프레디케이트 푸시다운(Predicate Pushdown)이란 쿼리의 필터 조건(WHERE 절)을 스토리지 계층으로 내려보내, 조건에 맞지 않는 데이터를 읽기 단계에서 미리 제거하는 기술입니다. ORC의 스트라이프 인덱스를 활용하면 불필요한 데이터 블록을 읽지 않아도 되므로 I/O 성능이 극대화됩니다.

3.3 스키마 진화(Schema Evolution) 지원

데이터 구조가 변경되어 컬럼이 추가되거나 삭제되어도 기존 데이터를 유지하며 유연하게 대응할 수 있는 스키마 진화 기능을 지원합니다. 컬럼의 추가나 삭제 시, 기존 데이터의 물리적 구조를 변경하지 않고 메타데이터 수준에서 매핑을 조정하여 읽기 시점에 처리합니다.

4. ACID 트랜잭션 지원

ORC는 Apache Hive 환경에서 ACID(Atomicity, Consistency, Isolation, Durability) 트랜잭션을 지원하는 핵심 포맷입니다.

  • 델타 파일(Delta Files): 기존 ORC 파일은 불변(Immutable)이므로, 수정이나 삭제 발생 시 원본을 수정하는 대신 변경 사항을 기록하는 작은 '델타 파일'을 생성합니다.
  • 병합(Merge/Compaction): 읽기 요청 시 원본 파일과 델타 파일을 병합하여 최신 상태의 데이터를 반환하며, 백그라운드에서 컴팩션(Compaction) 과정을 통해 델타 파일을 원본에 통합하여 읽기 성능을 유지합니다.

5. 데이터 압축 알고리즘

ORC는 다양한 압축 알고리즘을 지원하며, 사용자의 환경과 데이터 특성에 따라 선택할 수 있습니다.

알고리즘 특징 적합한 사례
ZLIB 높은 압축률을 제공하지만 CPU 사용량이 많음 저장 공간 절약이 최우선인 경우
SNAPPY 압축률은 낮으나 압축/해제 속도가 매우 빠름 빠른 처리 속도가 중요한 실시간 분석
LZ4 Snappy와 유사하게 매우 빠른 속도를 제공 CPU 오버헤드를 최소화해야 하는 환경
ZSTD ZLIB의 압축률과 Snappy의 속도 사이의 균형 최신 환경에서 범용적으로 권장됨

6. 다른 파일 형식과의 비교

6.1 기능 비교표

기능 ORC Parquet Avro CSV
저장 방식 열 지향 열 지향 행 지향 행 지향
압축 효율 매우 높음 높음 보통 낮음
쓰기 속도 보통 보통 매우 빠름 매우 빠름
읽기 속도 매우 빠름 (분석) 매우 빠름 (분석) 빠름 (전체 읽기) 느림
ACID 지원 지원 (Hive) 제한적 지원* 미지원 미지원
주 사용처 Hive, Presto Spark, Impala Kafka, 데이터 전송 단순 데이터 교환

* Parquet는 파일 포맷 단독으로는 ACID를 지원하지 않으나, Delta Lake, Apache Iceberg, Apache Hudi와 같은 테이블 포맷과 결합하여 ACID를 구현합니다.

6.2 ORC vs Parquet 상세 비교

두 포맷 모두 열 지향 저장 방식이지만, 설계 철학과 최적화 대상에 차이가 있습니다.

  • 최적화 대상: ORC는 Apache Hive의 성능 최적화에 집중하여 설계되었으며, 특히 Hive의 ACID 트랜잭션과 깊게 통합되어 있습니다. 반면 Parquet은 Apache Spark을 비롯한 다양한 생태계에서의 범용적인 호환성과 효율적인 중첩 데이터(Nested Data) 처리에 강점이 있습니다.
  • 인덱싱: ORC는 스트라이프 단위의 인덱스(Min/Max)를 통해 데이터 스킵 성능이 매우 강력합니다. Parquet 역시 페이지 단위의 통계를 제공하지만, Hive 환경에서의 쿼리 최적화는 ORC가 더 정교하게 작동하는 경향이 있습니다.
  • 데이터 구조: Parquet은 복잡한 중첩 구조(Nested Schema)를 효율적으로 저장하는 Dremel 모델을 기반으로 하며, ORC는 상대적으로 평탄한(Flat) 구조의 대규모 데이터셋 처리에 매우 효율적입니다.

6.3 적합한 사용 사례

  • ORC: Hive 중심의 에코시스템을 사용하며, 강력한 압축과 ACID 트랜잭션이 필요한 분석 환경.
  • Parquet: Apache Spark 중심의 환경이며, 다양한 언어 및 도구와의 범용적인 호환성이 중요하거나 복잡한 중첩 데이터 구조를 다루는 경우.
  • Avro: 데이터 스키마가 빈번하게 변경되고, 쓰기 성능이 중요하며 메시지 큐(Kafka)를 통한 데이터 전송 시.
  • CSV: 데이터 크기가 매우 작고, 특수 도구 없이 텍스트 에디터로 데이터를 확인해야 하는 단순 데이터 교환 시.

7. 활용 및 생태계

ORC는 주로 다음과 같은 빅데이터 쿼리 엔진에서 표준 저장 형식으로 활용됩니다. * Apache Hive: ORC의 고향으로, 가장 깊은 수준의 최적화와 ACID 기능을 제공합니다. * Presto / Trino: 분산 SQL 쿼리 엔진으로, ORC의 인덱스를 활용해 초고속 분석 쿼리를 수행합니다. * Apache Spark: spark.read.orc()를 통해 ORC 파일을 읽고 쓸 수 있으며, 데이터프레임 최적화에 활용합니다.

8. 성능 벤치마크 (참고치)

실제 환경에 따라 차이가 있으나, 일반적인 분석 쿼리 수행 시 다음과 같은 성능 향상이 보고됩니다. (기준: CSV 대비)

  • 저장 공간: 약 70% ~ 90% 감소 (ZLIB 압축 기준)
  • 쿼리 실행 시간: 특정 컬럼 조회 시 I/O 감소로 인해 5배 ~ 10배 이상의 속도 향상
  • CPU 효율: 프레디케이트 푸시다운 적용 시 스캔 데이터 양이 80% 이상 감소하여 CPU 부하 경감

9. 사용 예시 및 설정

9.1 Hive에서 ORC 테이블 생성 및 저장

-- ORC 형식의 테이블 생성
CREATE TABLE user_logs (
    user_id BIGINT,
    event_time TIMESTAMP,
    action STRING,
    device_id STRING
)
STORED AS ORC
TBLPROPERTIES ("orc.compress"="SNAPPY");

-- 데이터를 ORC 형식으로 삽입
INSERT OVERWRITE TABLE user_logs
SELECT id, ts, act, dev FROM raw_staging_table;

9.2 Apache Spark에서 ORC 읽기 및 쓰기

[Scala 기준] 

// Spark DataFrame을 ORC 형식으로 저장
df.write
  .option("compression", "snappy")
  .orc("/user/hive/warehouse/user_logs.orc")

// ORC 파일 읽기
val orcDf = spark.read.orc("/user/hive/warehouse/user_logs.orc")

// 필터링 쿼리 (Predicate Pushdown 자동 적용)
val filteredDf = orcDf.filter("action = 'CLICK'")
filteredDf.show()

[PySpark 기준] 

# Spark DataFrame을 ORC 형식으로 저장
df.write \
  .option("compression", "snappy") \
  .orc("/user/hive/warehouse/user_logs.orc")

# ORC 파일 읽기
orc_df = spark.read.orc("/user/hive/warehouse/user_logs.orc")

# 필터링 쿼리 (Predicate Pushdown 자동 적용)
filtered_df = orc_df.filter("action = 'CLICK'")
filtered_df.show()

외부 링크

AI 생성 콘텐츠 안내

이 문서는 AI 모델(gemma-4-31b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

이 AI 생성 콘텐츠가 도움이 되었나요?